OPTED: On-Policy Fine-Tuning for End-to-End Driving using a Render-Free Teacher
OPTED：基于无渲染教师的端到端驾驶在线策略微调
🧭 特权教师 on-policy 蒸馏
用RL训练矢量输入特权教师，在闭环中蒸馏至摄像头学生模型，大幅减少模拟器交互成本
📌 工作参考价值（4 点）
- 特权教师蒸馏可迁移到推荐/广告：实际线上受限于特征获取延迟或算力，可训练一个输入全量特征（如用户画像、后验转化、上下文）的教师模型，再将知识蒸馏到实时轻量学生模型；在日志回放模拟器中做 on-policy 更新，比直接在线 RL 成本低几个数量级。
- 用离线数据重建用户交互模拟器：类似 3DGS 从真实驾驶日志重建场景，推荐系统可基于离线日志构建用户状态转移模拟器，用于策略微调；能部分替代高成本线上 A/B，缓解行为克隆的开环偏差和状态分布偏移。
- on-policy 微调优于纯行为克隆：推荐/排序策略仅在离线日志上训练，线上易出现 compounding error；在模拟器中进行 on-policy 蒸馏或 RL 微调可改善鲁棒性，且教师提供密集监督信号，避免直接 RL 稀疏奖励难训练的问题。
- 教师可以无渲染（render-free）：若学生需要处理高维原始特征（文本、图像），教师仅使用结构化特征训练并在闭环中生成监督，可避免昂贵的前向模拟，降低训练成本；对 Agent 或生成式推荐中的策略蒸馏有借鉴意义。